core: Fix devino speedup for archive-z

core: Rework archive-z mode to have header be uncompressed

This is an incompatible change to archive-z, thus it is now renamed to
archive-z2 and ostree will no longer parse archive-z.

I noticed in perf that we were spending some time zlib-decompressing
file headers, which is just inefficient.  Rather than do this, keep
the headers uncompressed, and just zlib-compress content.

core: Call fdatasync() before we rename()

Just noticed this from strace, doesn't really matter, but looks nicer.

checkout: Drop uncompressed object GC for now

It's racy when multiple processes are involved, and needs a bit more
thought.

core: Fix case where we hardlinked successfully but thought we didn't

We need to return hardlink_supported even if we had to do an unlink
first.

core: A few more error-prefixings

core: One more minor tweak to recursive directory creation

We would fail in the case where we were trying to create a
subdirectory of /; this didn't actually happen, just noticed
via code inspection.

core: Prefix some error messages

To help debug why I still have this race condition...

core: Threadsafe recursive direction creation is harder than it appears

core: Fix regression in previous commit

core: Make mkdir -p function safer

Recursing here is just a more obvious way to do it, rather than
relying on the semantics of g_file_make_directory_with_parents().

core: Ensure file data is synced to disk when checking out via non-hardlinks

Otherwise we aren't crash-safe.

repo: Avoid race condition in threaded checkout with symbolic links

We were inconsistently putting symbolic links into the uncompressed
object cache, which could cause the threaded checkout to get confused.

core: Add dynamic uncompressed object cache for archive-z

This gives us something closer to the advantages of archive and
archive-z when using the latter.  Concretely we get deduplication
among multiple checkouts, along with the "devino" hash table trick
during commits to avoid checksumming content again.

This is enabled by default.

pull: Print elapsed time

core: Only do devino scan on commit (speeds up pull)

When fetching data remotely, there's no point to the devino scan
because we're not going to be committing local files.

Only do it for "commit".

pull: Ensure worker queue finishes if we unhold an empty queue too

pull: Stage content asynchronously

For similar reasons as metadata, this avoids having the main thread
blocked in fdatasync(), and even better - we can achieve much higher
parallelism if we have multiple threads blocked on fdatasync().

pull: Stage metadata objects asynchronously

This avoids the main thread being blocked on fdatasync(); also as a
bonus we checksum metadata in a separate thread too.

pull: Ensure queued filemeta requests don't starve everything else

We need this hack for "archive mode" repositories; otherwise,
what ends up happening is that we get 10000+ requests pending
for .filemeta files, which we can't process until we also get
the .filecontent.

Note this hack is unneccessary when fetching from archive-z
repositories.

pull: Merge metadata and content fetch phases

This is a notable speedup when the metadata scanner is working, and we
don't have a lot of traffic; we can pull down data at the same time.

pull: Asynchronous metadata fetch

Create a worker thread for processing metadata, reserving the main
thread for HTTP requests.

This can create a very significant efficiency win for large pull
requests since we are much more likely to keep a full pipeline open.

The status display is also nicer now.

admin: Install grub2 config file if we detect /etc/grub.d

Decouple this from the kernel postinst one, since it's possible to
have one but not the other.

admin: Prepare /var/log/dracut.log when creating initramfs

Otherwise dracut complains.

Release 2012.11

Update libgsystem

This ensures we're disting the README, which makes the autogen.sh do
the right thing.

build: Add one header file missing from dist

build: Add autogen.sh, the COPYING.{GPL,LGPL} files to EXTRA_DIST

We want them in tarballs too.

Release 2012.10

packages: Two spec file fixes

autogen: Only do submodule update if we don't have libgsystem

Otherwise we'll fail due to not being a git repository in the
embedded-dependency tarball case.

autogen.sh: Use set -e

Otherwise we blindly continue if autoreconf fails, which is pretty
damn lame.

core: use open(..., O_NOATIME) for reading loose objects

More efficient, and atime shouldn't matter for these.

Add tests missing from previous commit

Add an archive-z repository mode

This is where loose content objects are stored as one compressed file,
instead of the two separate ones for regular archive mode.  This mode
would be suitable for HTTP servers, beause only one HTTP request is
necessary, and the result would be compressed.

pull: Fix two minor memory leaks

core: Clean up staging API and internals

Cleanly separate metadata/content APIs, rather than defaulting to
raw streams.  This helps most use cases.

Also, drop support for staging content without knowing the total
length.  This complicated the code, and for things like streaming
HTTP, we should be able to figure this out from Content-Length.

core: Drop packfiles as they are now

They're not a large efficiency win at the moment, because we don't
do any delta compression.

At the moment, they simply served to compress data, but we will change
the archive mode to do that by default.

tests: Drop tests of removed --atomic-retarget option

diff: Fix case when used on native files

packaging: Update spec file per Fedora review

See https://bugzilla.redhat.com/show_bug.cgi?id=819951

packages: Update ostree.spec for file changes

packages: Tweak srpm command

This spec should be usable for both embedded dependencies and not.

admin: Initialize /var more fully

This helps out gnome-ostree, because gdm needs /var/lib for example.

Grub2: use /etc/system-release now that we have one

This matches the upstream code more, and avoids the GNOME OS trademark
in ostree, which is otherwise platform agnostic.

https://bugzilla.gnome.org/show_bug.cgi?id=684049

Add /ostree/current-etc symlink to current configuration

Configuration associated with a specific revision is stored in a folder
named <revision>-etc. In a similar spirit, add /ostree/current-etc, pointing
to the -etc folder for the revision named by current. This allows
easy editing of configuration from the host distribution, and allows
diffing current/etc and current-etc for configuration changes.

https://bugzilla.gnome.org/show_bug.cgi?id=684049

Update kernel files for command naming changes

ostadmin is now ostree admin.

https://bugzilla.gnome.org/show_bug.cgi?id=684049

pull: Check the remote repo type

We can only pull from archive repositories right now.  This will also
be useful for adding compressed archives later.

Extract keyfile helpers into libotutil

Will be used by ostree-pull too soon.

ostadmin: Fix up deploy config logic again

Clearly we need tests here...

admin: Ensure we pass options to subcommands

Otherwise ostree admin --ostree-dir=/foo deploy --no-kernel bar
doesn't work.

update-kernel: Fix free -> g_object_unref

Move "ostadmin" => "ostree admin"

This helps us avoid polluting the global binary namespace.

Make /etc a writable mount

First, move deployments to /ostree/deploy.  Having them in the
toplevel clutters the filesystem layout too much.

When we deploy a tree like /ostree/deploy/NAME, there is now also a
writable directory /ostree/deploy/NAME-etc.  This is mounted as
read-write inside the system.

On an initial install, that directory is copied from
/ostree/deploy/NAME/etc.  On subsequent deployments, we find any
changes made in the current deployment's /etc, and apply that set of
changes to the new deployment's /etc.

See https://live.gnome.org/OSTree/EverythingInEtcIsABug

otutil: Add a few more helper functions

To be used by wip/etc-writable branch.

core: Refactor diff to be an internal API

For future use by other code.

ostadmin: Also ensure /ostree/modules exists

We depend on host kernel for now.

build: Add dist-snapshot

Take the current git HEAD and make a tarball from it; should be useful
for putting snapshots into Poky.

Use correct libgsystem

Accidentally pushed a local patch.

Merge remote-tracking branch 'aperezdc/fixes'

configure.ac: Fix checks for libarchive

When configuring without passing --enable-triggers-only, checks for
libarchive were not being done. Shuffling around the checks solves
the issue.

Update libgsystem

core: Use O_NOATIME to open metadata

We really don't need atime for metadata, it's just a speed hit.

repo: Call fdatasync() before adding objects to the repo

I run builds on my laptop, but it also crashes about 1/4 of the time
while suspending.  It's definitely undesrirable to get e.g. empty
.dirtree objects because they corrupt builds.  Concretely, I was
getting empty contents committed for xorg-util-macros.

Now, we used to write out temporary files using g_file_replace() which
does a fsync() during close, but then switched to a more "manual"
g_file_append_to().

We could switch back to g_file_replace(), but the problem is, we don't
want to call fsync() on temporary files in the case where we already
have the object.  Attempting to add an object we already have is a
*very* common case.

This is both the old and new code sequence for the case where an
object is already stored:

open(temp, O_WRONLY)
write() write() write()
close()
lstat(objects/3a/9fe332...) = 0
unlink(temp)

In the *new* code, here's the case where an object *isn't* stored:

open(temp, O_WRONLY)
write() write() write()
close()
lstat(objects/3a/9fe332...) = -1
open(temp, O_RDONLY)
fdatasync()
close()
rename(temp, objects/3a/9fe332)

Compare with the *old* code path for when an object isn't stored:

open(temp, O_WRONLY)
write() write() write()
close()
lstat(objects/3a/9fe332...) = -1
link(temp, objects/3a/9fe332)
unlink(temp)

The problem with this is we really need to fdatasync().  Also doing
just rename() instead of the weird link()/unlink() helps us express to
the filesystem that we want atomic semantics.  For example, BTRFS has
special handling for rename().

traverse: Set an explicit error when loading a corrupted commit

I had a empty files for a .commit and .dirmeta, and previously we were
segfaulting.

ostadmin: Cosmetic change for option defaults

ostadmin: Add --ostree-dir option to init

Matches the option for deploy.

repo: Ensure all stored files are readable

We really don't have a sane story for private files.  This is a
defensive step ensuring that with old versions of gnome-ostree,
components that mistakenly have un-world-readable files don't break
pulls.

Release 2012.9

build: Add --enable-triggers-only

For bootstrapping gnome-ostree, we need to install the triggers early
on, before we actually build the real ostree binary.

prune: Don't fail if an object isn't found

We expect most people to have partial repositories.

repo: Also traverse remote refs when enumerating objects

Otherwise ostree --repo=repo prune will delete everything =/

Improve the pango trigger

Use the new update-cache mode of pango-querymodules, which
automatically finds the correct cache file location.

Updated to look in both places by Colin Walters <walters@verbum.org>

https://bugzilla.gnome.org/show_bug.cgi?id=682411

libostree: Quiet compiler warning with --disable-libarchive

This function is only used if compiling with it.

ostree: Remove duplicate command in help output

The 'remote' command was listed twice. Also, the list
was almost-but-not-quite alphabetically sorted. Fix
that too.

build: Make /etc/kernel scripts default to automatic

When not cross compiling, we can test for /etc/kernel.  This fixes the
build automatically on RHEL6 for example.

packages: Add files that should have been in previous commit

These were intended to be with the embedded-dependencies commit.

pull: Only fetch pack files if we want more than 66% of their objects

This avoids some pathologically bad cases where we would fetch a 25MiB
pack file only to extract one 5KiB object from it.

pull: Exit mainloop immediately if we encounter an error

Otherwise we'll just hang.

pack: Support --content-only

This should be useful for implementing more sophisticated packing
strategies.

Also clean up the pack size default handling.

pull: Set an error when we get an unsuccessful HTTP response

Otherwise we'll e.g. try to parse 404 HTML as an object which will
fail.

Add infrastructure for automatic kernel updates

If the distribution supports running arbitrary scripts at kernel
updates, we can hook into it and update the ostree side of things
automatically.

ostadmin: add update-kernel command to regenerate initramfs and boot config

This command regenerates kernel-dependent files. It is meant to
be run after kernel upgrades in the host distribution, to keep
the ostree installation running, and attempts to figure out the
right version automatically (and without changing the ostree checkout)

Don't fail for EPERM when hardlinking

As the manual page doesn't say, but the in-code kernel documentation
shows, hardlinking for normal users can fail for a variety of
reasons (including very common situations such as non regular file
or non writable file), if the owner of the file does not match
the user linking (e.g. when checking out a shadow repo with a root-
owned master).
If that happens, fail back silently to copying instead of aborting
the whole operation.

https://bugzilla.gnome.org/show_bug.cgi?id=682298

ostree-run-triggers: fix typo in filename comparison function

The comparison function was comparing the first file to itself,
and this resulted in triggers being run in random order.

https://bugzilla.gnome.org/show_bug.cgi?id=682297

embedded-dependencies: Fix ACLOCAL_FLAGS, update for libgsystem

* Handle the libgsystem submodule
* ACLOCAL_FLAGS was broken
* Add srpm-embedded

Include pull and other external commands in usage output

ostadmin: fix command line handling in the builtins

Common code was duplicating the command name and not shifting
arguments properly, which thus required the builtins to be aware
of it, instead of being treated like subcommands.

configure: Fix libsoup detection

* The configure arg was named incorrectly; we don't rely on
libsoup-gnome, just libsoup.
* We need to use AS_IF

autogen: Fetch submodules before running automake

Otherwise automake can't find src/libgsystem.

Support non-builtin commands

 * Support executing commands in the path
 * This makes 'ostree-pull' work as 'ostree pull'

triggers: Print execution time for each trigger

ostadmin: Use g_spawn_check_exit_status()

Just code cleanup.

ostadmin: Change command line for qemu deploy helper

The qemu helper really wants to copy kernel modules, but not
update the system bootloader.  Allow it to reuse ostadmin for
this.

Note that our previous path of shelling out to "cp -al" broke because
it refused to make cross-device links.

# Please enter the commit message for your changes. Lines starting
# with '#' will be ignored, and an empty message aborts the commit.
# On branch master
# Your branch is ahead of 'origin/master' by 1 commit.
#
# Changes to be committed:
#   (use "git reset HEAD <file>..." to unstage)
#
# modified:   src/libotutil/ot-gio-utils.c
# modified:   src/libotutil/ot-gio-utils.h
# modified:   src/ostadmin/ot-admin-builtin-deploy.c
#
# Untracked files:
#   (use "git add <file>..." to include in what will be committed)
#
# embedded-dependencies/glib/
# embedded-dependencies/libsoup/

ostadmin: Add --ostree-dir directory

This will be used by the qemu deployment script.

Automatically populate the git submodules in autogen.sh

TODO: update

ostadmin: Print an error message if run as non-root

See https://bugzilla.gnome.org/show_bug.cgi?id=680823

ostadmin: [incompat syntax change] Allow deploying any revision

The old command line syntax assumed you wanted the latest from
a given revision, but to bisect, you really want the ability
to deploy any given one.

Old:
$ ostadmin deploy gnomeos-3.6-i686-{runtime,devel}

New:

$ ostadmin deploy trees/gnomeos-3.6-i686-runtime
$ ostadmin deploy trees/gnomeos-3.6-i686-devel

And note that the deploy directory now changes to:
/ostree/trees/gnomeos-3.6-i686-devel

And now it's possible to:

$ ostadmin deploy trees/gnomeos-3.6-i686-devel trees/gnomeos-3.6-i686-devel^^^

pull: When --depth is specified, ensure we have all requested objects

We were previously optimizing by skipping object traversal if the refs
were unchanged, but if the user specifies a deeper depth than they did
before.